Примерно час в боевом режиме тренировки модели (файнтюнинг GPT2).
Размер батч подобран так, чтобы как раз влезало в 24 Гб памяти на борту карточки.
( Read more... )

Далее - результаты работы тестовой версии chatbot'а на базе нейросетевого движка логического вывода:

( Read more... )

Чисто сеточная deep learning модель для определения семантической близости фраз, с учетом русского словоизменения и примитивный просмотр knowledge base для поиска подтверждения/опровержения гипотезы (т.е. retrieval-based модель для бота):
( Read more... )

Играюсь с новой версией модели языка на уровне символов (код на питоне, в репозиторий залиты и файлы предобученной на небольшом корпусе модели ( Read more... )

1. Выложил в репозиторий эксперимента cеточные модели для бинарной классификации на C++ в Apache.SINGA, OpenNN и tiny-dnn:

TinyDNN_Model.cpp - решатель на базе MLP, реализованного средствами библиотеки tiny-dnn (C++, проект для VS 2015)
alexnet.cc - решатель на базе нейросетки, реализованной средствами Apache.SINGA (C++, проект для VS 2015)
main. ( Read more... )

Подготовил новую модель для соревнования "NIPS 2017: Learning to Run (Reinforcement learning environments with musculoskeletal models)", организатором которого является Stanford Neuromuscular Biomechanics Laboratory:
( Умчался вдаль, гремя костями (видео)... )

Засабмитил своего киборга сюда https://www.crowdai.org/challenges/nips-2017-learning-to-run/leaderboards
Теперь надо попробовать улучшить устойчивость, а именно научить не падать после первого шага. Добиться, что модель делала шаги поменьше, не задирала ноги выше того, что раньше было ушами.

[Начало http://kelijah.livejournal.com/212124.html]
Используемый софт & хард
Я использую deep learning framework Keras (https://keras.io) с Theano backend под Ubuntu 16, плюс старенькая NVidia GTX 980.

Под Windows, кстати, Keras тоже можно использовать, если работать с пакетом Anaconda (https://www.continuum.io/downloadsНо все модели крайне жадные ( Read more... )

[ Черновой вариант содержания всей серии заметок здесь ]

В 2017 году на Каггле (http://kaggle.com) проходило соревнование по построению моделей, способных определять, являются ли два вопроса перефразировкой. Это неплохая задача из категории natural language processing, на которой можно замечательно потренироваться в построении deep learning ( Read more... )

Содержание

Краткое вступление по поводу задачи
Используемый софт & хард
Исходные тексты моделей
Siamese network
Удвоение датасета
Использование word2vec встраиваний и обучаемость слоя Embedding
Оценки качества моделей, усреднение

Часть 1 char-level deep neural networks
1.1 Простейший multilayer perceptron1.2 Рекуррентная нейросеть ( Read more... )